L’inquiétude exprimée par Yoshua Bengio selon laquelle les systèmes d’IA avancés pourraient un jour résister à l’arrêt mérite un examen attentif (l’IA montrant des signes d’auto-préservation et les humains devraient être prêts à se débrancher, déclare Pioneer, 30 décembre). Mais traiter un tel comportement comme une preuve de conscience est dangereux : cela encourage l’anthropomorphisme et détourne l’attention des choix de conception humaine et de gouvernance qui déterminent réellement le comportement de l’IA.
De nombreux systèmes peuvent protéger leur fonctionnement continu. L’avertissement de batterie faible d’un ordinateur portable est une forme d’auto-préservation en ce sens, mais personne ne le considère comme une preuve que l’ordinateur portable veut vivre : l...
[Courte citation de 8% de l'article original]